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1 



BESCHREIBUNG 



Verfahren und Vorrichtung zur optischen Eingabe von 

Befehlen oder Daten 

Die vorliegende Erfindung liegt im Bereich von Schnittstellen 
zur direkten Eingabe von Daten oder Befehlen durch den Benutzer. 
Genauer gesagt, betrifft die Erfindung Gerate, die manuell be- 
dient werden und auf Fingerdruck oder andere Handbewegungen rea- 
gieren. 

Um Daten beispielsweise in einen Rechner einzugeben, ist die 
Tastatur das am raeisten verwendete Gerat. Sie ermoglicht eine 
schnelle, eindeutige Eingabe von digitalen Daten. Alternative 
Eingabegerate konnen fur besondere, begrenzte Anwendungen ver- 
wendet werden: Spracherkennung ist inharent schnell, erfordert 
aber einen sehr grofien Verarbeitungsaufwand. Die Umwandlung von 
Sprache in Text schliefit zwangslaufig Mehrdeutigkeit ein. Eine 
automatisierte Analyse der Handschrift ist auch schwierig: Die 
Eingabe von leicht lesbaren einzelnen Zeichen ist langsam und 
umstandlich. Das Lesen individueller Handschrif ten kann eine 
schwierige und zeitraubende Aufgabe sein. 

Zeigegerate (Maus, Stift) haben breite Anwendung in Verbindung 
mrj? Graf ikumgebungen in Fenstertechnik gefunden, um die Verar- 
beitung zu steuern und um Binardaten einzugeben. Bei dieser An- 
ordnung erfordert eine typische Datenverarbeitungssit zung ein 
haufiges Wechseln zwischen Zeiger und Tastatur, 

In CAD-Anwendungen wird typischerweise eine Maus zur Editierung 
von Grafiken benutzt. Andere Gerate, z.B. Joysticks oder Roll- 
kugeln^ konnen zum System hinzugefiigt werden, um eine komforta- 
ble Eingabe von Anzeigebef ehlen zu ermoglichen, wie beispiels- 
weise die Rotation eines virtuellen 3D-0bjekts zur Erzeugung 
einer Zeichnung aus einer anderen Perspektive. 
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Ein bestimmtes optisches Eingabegerat zur Verwendung in einer 
Grafikstation ist in IBM TDB, Jahrgang 32, Nr. 3B, August 1989, 
Seite 92 beschrieben. Dieses Gerat besteht aus einem Hand-Wtir- 
fel, dessen Seiten eine bestimmte Farbe haben, urn Anhaltspunkte 
fur die Orientierung auf der Oberflache zu geben. Die aktuelle 
Position und Ausrichtung des Wurfels wird von einem. TV-Sensor 
erkannt. Das auf gezeichnete Bild des Wurfels wird digital ver- 
arbeitet, und Befehle werden entnommen, urn die grafische Dar- 
stellung eines virtuellen 3D-0bjekts entsprechend der Ausrich- 
tung des Wurfels zu andern. Dieser Technik sind bleibende Pro- 
bleme inharent, da die Orientierungshilf en aufgrund dessen, daB 
der Wurfel in der Hand gehalten wird, teilweise verdeckt sind. 

Mit dem anhaltenden Trend zur Miniaturisierung sind moderne 
Rechner durch. verringerte Abmessungen gekennzeichnet Wahrend 
die GroJie der Elektronikbauelemente abnimmt, konnen die Abmes- 
sungen der Benutzerschnittstelle, z.B. der Tastatur oder der 
Maus, nicht zu sehr reduziert werden, ohne EinbuBen bei der 
Funktionalitat hinzunehmen. 

JP-A-59132079 beschreibt ein manuell bedienbares Eingabegerat, 
urn die Eingabe durch Zeigen moglich zu machen, ohne dafi der Be- 
diener Hardware in die Hand nehmen mufl, indem die Form einer 
manuellen Bedienung als ein Bild eingegeben und dies unterschie- 
den und verarbeitet wird. Die Form und die Position der Hand 
eines Menschen werden von einem Bildeingabeteil als zweidimen- 
sionale Bildinf ormationen eingegeben. Diese zweidimensionalen 
Bild inf ormationen werden an einen die Form und die Position 
trennenden Teil iibertragen. Die Form der Hand und der Finger, 
ihre relativen Positionen auf einem Bildschirm und ihre absolu- 
ten Positionen werden getrennt, und Inf ormationen ixber die Form 
und die Position erhalt man durch Vergleich mit dem Hintergrund. 
Diese Inf ormationen uber die Form und die Position werden an 
einen Merkmale entnehmenden Teil iibertragen, und individuelle 
Kennzeichen, wie beispielsweise ein individueller Unterschied 
der GroBe der Hand und der Finger, werden eliminiert, und die 
Merkmale von Bedienungsf ormen einer universellen Hand und von 
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universellen Fingern werden entnommen. Die auf diese Weise ent- 
nommenen Merkmalsinformationen von Bedienungsf ormen der Hand und 
der Finger werden an einen Anzeigesignal-Ausgangsteil ubertra- 
gen. Die vorlaufig f estgestellten Merkmale von Bedienungsf ormen 
der Hand und der Finger und Anzeigeinformationen werden mit dem 
Inhalt einer Umsetzungstabelle verglichen und in Anzeigeinforma- 
tionen an ein Verarbeitungsgerat umgewandelt und ausgegeben. 

JP-A-2132510 beschreibt ein Eingabegerat, das es direkt ermog- 
licht, den Willen eines Menschen widerzuspiegeln, indem die 
Rechnereingabe entsprechend der Position von beispielsweise ei- 
ner Hand erreicht wird, die von einer Video kamera aufgenommen 
wird. Eine Hand wird zunachst geschlossen auf eine Anzeigeplatte 
gelegt, dann wird das Bild der Hand mit ihr uberlagert ange- 
zeigt. Dann wird ein Cursor auf dem Bild entsprechend der Posi- 
tion der Mittenkoordinate des ersten der Bilder angezeigt. Ein 
Befehl wird ausgewahlt, wenn die Hand auf der Platte bewegt 
wird, und der auf das Bild gesetzte Cursor wird auf ein Symbol 
bewegt. Wenn ein Finger der Hand beispielsweise geoffnet wird, 
wird die Spitze des Fingers erkannt und gedruckt. Darin wird ein 
von dem Symbol ausgewahlter Befehl eingegeben. Auf diese Weise 
ist es moglich, die direkte Rechnereingabe ohne den Einsatz von 
speziellen Geraten vorzunehmen und den Willen eines Menschen 
widerzuspiegeln. 

Dig- vorliegende Erfindung ist dazu gedacht, die Nachteile zu 
beseitigen, die den dem Stand der Technik entsprechenden' Benut- 
zereingabegeraten inharent sind. 

Es ist daher eine Aufgabe der vorliegenden Erfindung, eine neue 
und weiterentwickelte Schnittstelle zur Eingabe von Daten oder 
Befehlen in Daten- oder Bef ehlsverarbeitungssysteme bereitzu- 
stellen, die Probleme vermeidet, die mechanischen Bauelementen 
anhaften, und es ermoglicht, verschiedene Arten von manuell be- 
dienten Eingabegeraten zu emulieren. 

Dies wird von der vorliegenden Erfindung, wie beansprucht, er- 



GE 991 020 



- 4 - 



reicht, die eine optische Benutzerschnittstelle beschreibt, bei 
der es sich im allgemeinen um eine Anordnung handelt, die ein 
Bilderf assungssystem einsetzt, um die Hand- und Fingerbewegungen 
und die Gesten eines Benutzers zu iiberwachen. Diese Aktivitaten 
werden als Operationen auf einer physisch nicht vorhandenen 
Rechnertastatur oder einem anderen Eingabegerat interpretiert . 
Das Bilderf assungssystem umfafit einen TV-Sensor und Mittel zur 
Digitalisierung und Verarbeitung von Signalen von dem TV-Sensor. 
Hand, Finger und Fingerspitzen des Benutzers werden von dem TV- 
Sensor iiberwacht, und aktive Bewegungen werden von den Mitteln 
fur die Signalverarbeitung festgestellt und analysiert und als 
entsprechende Eingabedaten oder Befehle interpretiert. 

Die erforderliche Hardware fur die erf indungsgemaBe optische 
Schnittstelle ist lediglich ein (z.B. ein CCD-Wandler- ) Video- 
sensor mit einer "Bildabtast"-Schaltung. Eine lOOxlOO-Pixelma- 
trix sollte das Mindeste fur die erforderliche Bildverarbeitung 
sein. Eine anamorphotische Fotolinse oder ein Sensorchip mit 
gedehnten Pixeln kann verwendet werden, um den Sensor auf das 
Seitenverhaltnis der Tastatur abzustimmen. Autofokus oder Fixfo- 
kus vereinfachen die Einstellprozedur . Standard-Sensoren fur 
Camcorder oder elektrophotograf ische Sensoren erfullen diese 
Voraussetzungen problemlos. 

Eine Schwarz/Weifi-Abbildung ist ausreichend, wenn sich die Ar- 
bei,tsoberf lache durch eine Graustufe unterscheiden lafit, die 
sich wesentlich von der Tonung der menschlichen Haut abhebt . 
Weni^ sich keine Vermutungen uber den Hintergrund (z.B. die 
Schreibtischoberf lache) anstellen lassen, ist eine Vorstufen- 
Bildverarbeitung erf orderlich, um die Konturen der Hande des 
Bedieners f est zustellen. Mit dem a-priori-Wissen, daii das Hin- 
tergrundbild konstant bleibt (Rauschen und Schattierung ausge- 
nommen) , und dem Wissen iiber die Hand als eine zusammenhangende 
Einheit, halt sich das notwendige Mali an zeitkritischer Verar- 
beitung in Grenzen. 

Es sei erwahnt, dafi die Kosten fur die Kamera und fur die Hard- 
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ware zur Bildabtastung aufgrund der geringeren Anzahl von Teilen 
letztendlich niedriger sein konnen, als die Kosten fur eine gu- 
te, allein funktionsf ahige Tastatur mit Ansteuerschaltung. Eine 
weitere Kostensenkung ergibt sich aus der Tatsache, dali einige 
defekte Pixel (beispielsweise auf dem Ladungsspeicherchip) tole- 
riert werden konnen. 



Eine TV-Kamera mit 50 (Halb-) Bildern pro Sekunde ist schnell 
genug, urn Tippgeschwindigkeiten von ca. 10 Tastenanschlagen pro 
Sekunde zu iiberwachen. Wahrend allgeraeine Bildverarbeitungsauf- 
gaben eine hone Rechenleistung erfordern, lassen sich Tastenan- 
schlage recht wirtschaf tlich feststellen, da dies viel a-priori- 
Wissen einschliefit. 

Wird die Kamera beispielsweise von einem Monitor oder einem 
Rechnergehause in Richtung des Bedieners gelenkt (Figur 1), ist 
der untere Teil des Bildes vom Arbeitstisch ausgefiillt. Objekte, 
die sich iiber den Tisch bewegen, konnen ganz einfach anhand ih- 
rer Grofie, Form und Bewegung als Hande erkannt werden. Wenn eine 
Hand erkannt worden ist, ist ihre Positionsabweichung in aufein- 
anderfolgenden Bildfeldern ziemlich gering. Daher mufi nur eine 
relativ geringe Anzahl von Pixeln ausgewertet werden, urn die 
Bewegung zu verfolgen und um die Vollstandigkeit der Bildszene 
zu prufen. 

Un£er der Annahme der Form einer Hand iiber einer imaginaren Ta- 
statur erlaubt ein einfaches Modell, die Positionen der Finger- 
spitzen den (bis zu funf) hervorstehenden Stellen an der Unrer- 
seite der Handkontur zuzuordnen. Die Bewegungen der Finger in 
bezug auf die Hand sind ebenfalls klein. Sie konnen durch die 
Auswertung von kleinen Bildbereichen effizient uberwacht werden. 
Die Stetigkeit der Bewegungen erlaubt es, die Positionen der 
Suchbereiche zu extrapolieren. 

Es ist klar, daJ3 die Bewegungen und die Form der Hande zusacz- 
lich zu den Bewegungen der Fingerspitzen dazu verwendet werden 
konnen, Gesten mit Zusat zinf ormationen an die optische Schnitt- 
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stelle zu senden (z.B. Beginn/Ende der Sitzung, Tastatur-Neube- 
legung, Kameramodus oder andere Befehle) . Somit realisiert die 
Erfindung ein weiterentwickeltes beruhrungsloses Daten-/Bef ehls- 
eingabegerat, das in der Lage ist, manuell bediente Mittel in 
Datenverarbeitungssystemen oder elektronischen Verbindungen im 
allgemeinen zu ersetzen. 

Die optische Benutzerschnittstelle kann fur eine Vielzahl von 
Aufgaben verwendet werden. Sie konnen im Nu gewechselt werden, 
und zwischen ihnen und der aktuellen Anwendung kann umgeschaltet 
werden. 

Alphanumerische Tastaturen: Ein beachtlicher Vorteil bietet eine 
virtuelle Tastatur fur Rechner, die kleiner sind als ein Note- 
book. Eine Tastatur in voller Grolie ist mit dem Kompaktgerat 
erhaltlich. 

Tastaturen fur grolie Zeichensatze: Die visuelle Darstellung der 
aktuellen Tastenf unktion erlaubt die Handhabung von Tastaturen 
mit mehreren Umschalttasten und die Anzeige von Untergruppen fur 
grolie Zeichensatze (z.B. Kanji). 

Rechenf elder : Die Anordnung kann optimiert werden, beispielswei- 
se fur die Eingabegeschwindigkeit, Einfachheit oder eine ent- 
sprechende Reihe von Funktionstasten . 

Arbitrare analoge und digitale Bedienf elder : Verschiedene Be- 
dienf elder, z.B. Rollkugel, Joystick, konnen fur die aktuelle 
Aufgabe emuliert werden. 

Tastaturen fur Musikinstrumente : Ausgestattet mit einer virtuel- 
len Klaviertastatur wird aus einem PC ein vollstandiges System 
zur Musikproduktion. Externe Tastaturen, Synthesizer/Folgesteue- 
rungseinheiten werden der Vergangenheit angehoren. Eine an- 
schlagsdynamische Empf indlichkeit ist dem Sensor-Algorithmus 
inharent. Mit Kamera und Klaviertastatur hat ein PC eine "Multi- 
media"-Schnittstelle / welche die Eingabe, Ausgabe, Verarbeitung 
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und Speicherung von Bildern und Melodien ermoglicht. 



Identifizierung der personlichen Unterschrif t : Eine sichere 
Identification lafit sich aus der Unterschrif tsdynamik erhalten. 

Alternative Kameraeingabe : Die Bilderfassungsfunktion des Sy- 
stems kann zusatzlich fur andere Zwecke verwendet werden, z.B. 
das Abtasten von Dokumenten, FAX, Bildtelefon. 

Fiir ein besseres Verstandnis der vorliegenden Erfindung, zusam- 
raen mit weiteren Aufgaben und Vorteilen, ist als eine bevorzugt 
Ausfuhrungsform der Erfindung im folgenden die Verwendung der 
optischen Schnittstelle als virtuelle Tastatur mit Bezug auf di 
Begleitzeichnungen beschrieben, wobei: 

Fig. 1 die Anordnung des Bilderf assungssystems zeigt, urn die 
Hand- und Fingerbewegungen eines Benutzers zu erfas- 
sen. 

Fig. 2 eine schematische Abbildung des Kamerabildes zusammen 
mit einer verbesserten Bereichsauf teilung einer iiber- 
wachten Hand ist. 

Fig. 3 die Schritte der Verarbeitung des Bildes einer Hand 
auf zeigt . 

Eine Tastatur hat die Aufgabe, Informationen iiber die vorhande- 
nen Tasten und ihre Position zu geben, das Driicken von Tasten 
durch den Bediener zu erfassen und eine Ruckmeldung zu erzeugen, 
wenn eine Taste beruhrt worden ist. 

Die Tastatur braucht nicht physisch vorhanden zu sein. In Fig. 1 
dient eine virtuelle Tastatur 3 als Daten- oder Bef ehlseingabe- 
gerat. Von der Rechnerseite der Schnittstelle mufl es lediglich 
eine Moglichkeit geben, die Bewegungen der Fingerspitzen des 
Tastaturbedieners zu erkennen. Herkommlicherweise erfolgt dies 
mit elektrischen Kontakten unter den einzelnen Tasten. Andere 
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Ansatze jedoch funktionieren ebenso: Wenn die Hand- und Finger- 
bewegungen auf einer virtuellen Tastatur (z.B. einer Tischtasta- 
tur) von einem optischen System uberwacht werden, kann die ge- 
eignete Bildverarbeitung die Absicht des Benutzers erkennen. 

Fig. 2 zeigt den von der Kamera 2 erf a£ ten Bereich. In dem uber- 
wachten Bereich 4 werden die Hande des Benutzers erkannt. Der 
vergroiierte Teil 5 von Fig. 2 stellt einen Bereich des Kamera- 
bildes dar, der fur die weitere Bildverarbeitung gewahlt wird. 

Ein dreistufiger Algorithmus minimiert die Ausf iihrungszeit 
(Fig. 3) . Der Algorithmus der ersten Stufe fragt Kontrastwerte 
auf einer Linie 6 ab, urn das Vorhandensein einer Hand festzu- 
stellen. Die Routine der zweiten Stufe folgt der Handkontur 7. 
Der Algorithmus der dritten Stufe stellt die Positionen der Fin- 
gerspitzen (81, 82, 83, 84, 85) fest. 

Informationen iiber die Tasten fur eine virtuelle optische Tasta- 
tur 3 (VOK) konnen in einem Fenster auf der Monitoranzeige 1 
angezeigt werden. Schematische Darstellungen der Bilder der Hand 
konnen iiber einer Tastaturschablone angezeigt werden. Die 
gleichzeitige Anzeige der Tastatur mit der Anwendung ist aus 
ergonomischen Griinden vorteilhaft, da man den Blick zwischen 
Bildschirm und Tastatur nicht zu wechseln braucht . 

Das> Tastaturfenster erfordert vielleicht ca. 10 % bis 20 % des 
Anzeigebereichs . Jedoch kann das Fenster nur wahrend der Daten- 
eingabe erscheinen, so daft andere, gleichzeitige Anwendungen 
nicht betroffen sind. Beim Prufen der Eingabeposition des Cur- 
sors positioniert sich das Tastaturfenster auf dem Bildschirm 
gegebenenf alls gegenuber des Texteingabebereichs . 

Eine Fingerspitze, die eine virtuelle Taste anschlagt, macht 
eine schnelle Bewegung nach unten (iiber einen Weg von ca. 10 
mm) , halt abrupt an, wenn die Schreibtischoberf lache getrof f en 
ist und bewegt sich nach kurzer Entspannung wieder nach oben. 
Die Stelle, an der die anschlagende Fingerspitze anhalt, kann 
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einer Taste zugeordnet werden. Mehrdeutigkeiten aufgrund von 
sich gleichzeitig bewegenden Fingern lassen sich anhand einer 
Auswertung der unterschiedlichen Bewegungscharakteristika (der 
anschlagende Finger bewegt sich schneller iiber einen langen Weg 
und halt abrupter an) sowie anhand eines Handmodells beseitigen, 
das unwahrscheinliche relative Fingerpositionen aufzeigt. 

In der Praxis laftt sich die Position einer Fingerspitze far je- 
des Bildfeld (oder Halbbild) bestimmen, d.h. ca. alle 40 msec. 
Eine Folge von funf Bildfeldern erlaubt die Uberwachung der Be- 
wegung der Fingerspitze uber einen Zeitraum von 160 msec. Die 
unterschiedliche Position der Fingerspitze zwischen zwei aufein- 
anderfolgenden Bildfeldern ergibt dann vier Werte fur die Ge- 
schwindigkeit des Fingers (V4...V1). Urn einen Anschlag festzu- 
stellen, mufi eine Folge von Geschwindigkeitswerten gefunden wer- 
den, die der obigen Beschreibung entspricht. Um dieses Problem 
mit nur vier Geschwindigkeitsmessungen zu losen, soil von eini- 
gen Annahmen ausgegangen werden: 

Vor dem Anschlag ist die Beschleunigung der Fingerspitze 
relativ konstant. Dies scheint verniinftig zu sein, da die 
Beschleunigung lediglich von der Muskelspannung abhangt. In 
diesem Fall kann die Geschwindigkeit (Vx) in der Nahe des 
Anschlagpunktes durch Extrapolation aus den beiden Ge- 
schwindigkeitswerten vor dem Anschlag berechnet werden. Der 
j extrapolierte Wert kann dann mit einem Schwellenwert ver- 
glichen werden. 

_ Der Anschlag einer virtuellen Taste schliefit ein, daB die 
Geschwindigkeitswerte vor dem Anschlag iiber einem Mindest- 
wert liegen miissen. 

Beim Anschlag nimmt die Geschwindigkeit rapide ab. Daher 
enthalt die Geschwindigkeitsmessung wahrend des Anschlags 

(V2) keine hilfreichen Informationen . Sie kann jedoch dazu 
verwendet werden, die Giiltigkeit der Mefifolge zu prufen 

(kein Rauschen) . 
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Nach dem Anschlag laBt die Geschwindigkeit der Fingerspitze 
rapide nach. Die Geschwindigkeitsabnahme ist durch die De- 
formation der elastischen Fingerspitze bedingt. Die Ge- 
schwindigkeit nach dem Anschlag muB in einem Bereich lie- 
gen, der von der Mindestverzogerung und dem Maximum der 
folgenden erneuten Beschleunigung bestimmt wird. 

Mit diesen Annahmen kann eine Reihe von vier einfachen Bedingun- 
gen f estgeschrieben werden, die fur einen Anschlag erfullt wer- 
den miissen: 

1. Vx > Vmin (Vmin = Mindestanschlagsgeschwindigkeit ) 

2. V4 > Vp (Vp = Mindestgeschwindigkeit vor dem Anschlag) 

3. V2 > VI keine Schwingung 

4. VI < Vt (Vt = Hochstgeschwindigkeit nach' dem Anschlag) 

Wenn ein Tastenanschlag festgestellt worden ist, mufi die ent- 
sprechende Taste gefunden werden. Dies ist keine triviale Aufga- 
be, da sich der Finger bewegt. Wenn der Finger visuell gefuhrt 
wird, erfolgt die Tastenauswahl bevor die Anschlagsbewegung be- 
ginnt, d.h. ca. 100 msec bevor der Anschlag festgestellt wird. 
Fur ein visuell gesteuertes, schnelles Tippen wird der Impuls 
"Suchen und Anschlagen" des Bedieners aus der sichtbaren Entfer- 
nung zwischen dem Finger und der anzuschlagenden Taste erzeugt. 
In diesem Fall ist es die virtuelle Tastaturschablone, auf wel- 
cher der aktuelle Anschlagspunkt ausgewahlt werden sollte. In 
der Praxis muB ein stetiger Ubergang _zwischen diesen Extremen 
realisiert werden. Die Kenntnis des Weges der Fingerspitze er- 
moglicht es, das Kriterium der Geschwindigkeit vor dem Anschlag 
und der Beschleunigung fur den Algorithmus zur Feststellung ei- 
nes Anschlags zu verfeinern. 

Eine selbstzentrierende Routine ist erforderlich, urn die taktile 
Riickmeldung hinsichtlich der Tastenmitte zu iibernehmen, die eine 
physische Tastatur bietet: Der Bediener mochte die Mitte der Ta- 
ste treffen. Dies erlaubt einem Algorithmus, das Fingerbild 
entsprechend neu zu positionieren. Urn eine unerwunschte Abwei- 
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chung des Handbildes zu vermeiden, muii eine Art "Steifheit" 
realisiert werden. 

Urn die Fingerspitzendynamik zu iiberwachen, werden Inf ormationen 
uber die protokollierten vertikalen Bewegungen einer jeden Fin- 
gerspitze gepuffert. Eine unterbrechungslose Folge von fiinf Fin- 
gerspitzen-Messungen ist notwendig, damit ein Finger fur den An- 
schlagsf eststellungs-Algorithmus beriicksichtigt werden kann. 
Wahrend der Uberwachung kann sich jedoch die Anzahl der sicher 
f estgestellten Fingerspitzen andern (z.B. aufgrund von schlech- 
ter Beleuchtung, Fingern aufierhalb des Videobild-Bereichs oder 
sich uberlagernden Fingern) . In diesem Fall kann sich die Fin- 
ger zahlzuordnung andern, und das Fingerprotokoll ist verfalscht. 
Zur Vermeidung einer Totzeit von fiinf Bildfeldern fur einen neu- 
en Aufbau der Protokollpuf f er ist ein Neuzuordnungs-Algorithruus 
erf orderlich: Wenn die Fingeranzahl erhoht wird, miissen die neu- 
en Finger erkannt werden. Zeiger miissen erzeugt werden, die den 
korrekten Zugriff auf die Protokollpuf fer ermoglichen. Im Falle 
einer abnehnienden Fingeranzahl miissen die Zeiger fur die ver- 
bleibenden Finger aktualisiert werden. Mit den Routinen der vir- 
tuellen Tastatur werden alle Finger (aufier den neu hinzugekomme- 
nen) laufend uberwacht. Selbst im Falle von Schwankungen, die 
durch Rauschen bei der Fingeranzahl bedingt sind, konnen die 
Finger fur die Anschlagssignatur uberwacht werden. 

Eiiie Reihe von einfachen intuitiven "Gesten" kann definiert wer- 
den, um die Bedienung einer virtuellen Tastatur zu steuern, 
z . B. : 

Beginn/Ende: Der Bildverarbeitungs-Algorithmus priift, ob 
eine Hand vorhanden ist, wobei er die "Handgelenkslinie" 
abfragt. Dies erfolgt beispielsweise alle 320 msec oder 
wenn ein Erkennungsf ehler bei der Handkontur auftritt. Wird 
eine Hand erkannt, wird das Fenster mit der Tastaturscha- 
blone auf dem Bildschirm geoffnet. Wenn die Hande zuruck- 
genommen werden, wird das Fenster geschlossen. 
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Grunclstellung bei der Tastatureingabe: Die Plazierung einer 
Hand auf dem Schreibtisch (d.h. der Anschlag mit funf Fin- 
gern gleichzeitig) . kann als Befehl interpretiert werden, 
die virtuelle Tastatur so zu plazieren, daiJ sich beispiels- 
weise die linke Hand iiber den Tasten des A-S-D-F-Raums be- 
f indet . 

Rtickgangig machen: Eine schnelle, nach oben gerichtete Fin- 
gerbewegung nach einem Tastenanschlag ist ein einfaches 
Signal zur "Rtickgangigmachung" des Anschlags* Hochst intui- 
tiv ist die Uberwachung der Daumen. Unbewufit werden die 
Daumen durch die iiberraschte Reaktion auf einen Tippfehler 
nach oben gerichtet. Die Geste "rtickgangig machen" verein- 
facht die Tastaturbetatigung: Die Unterbrechung der momen- 
tanen Arbeit, urn die Riickschritt- oder die Loschtaste zu 
finden, kann vermieden werden. 

Moduswechsel : Verschiedene Gesten mit einer oder beiden 
Handen konnen als Wechsel zwischen verschiedenen Tastatur- 
modi verstanden werden (z,B. Schreibmaschine, Maus, Ta- 
schenrechner, Finger Stift/Farbe, Host-Sitzung, Klavier) . 
Der sofortige Wechsel zwischen Schreibmaschine and Zeigege- 
rat ermoglicht eine schnellere Plazierung des Cursors. 

Statt auf Schreibtischebene kann die virtuelle Tastatur bezogen 
auf,- die Positionen der Fingerspitzen definiert werden. Das 
heifit, dafi die Taste fur jeden Finger zugeordnet wird, bevor die 
Taste tatsachlich angeschlagen wird. Eine kurze, schnelle Ab- 
wartsbewegung wahlt dann die Eingabetaste aus. Die Tastenzuord- 
nung vor dem Anschlag bietet einige einzigartige Merkmale flir 
die Ruckmeldung an den Bediener: 

Die Tastenzuordnung kann auf dem Bildschirm angezeigt wer- 
den (d.h. als Farbcodierung auf einem Tastaturanordnungs- 
Fenster) . 

Elektronisch unterstiitzte und stabilisierte Tastenzuordnun- 
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gen ermoglichen es, Bedienern zu helfen, die ihre Hande und 
Finger nur eingeschrankt bewegen konnen. 

Eine vergroflerte oder akustische Ruckmeldung kann Bediener 
mit einer Sehbehinderung unterstutzen. 

Die aktuelle Tastenfunktion (Umschaltstatus usw.) kann an- 
gegeben werden. 

Eine "abhebende" Fingerbewegung kann erkannt werden. Dies 
ist eine schnelle und aufierst intuitive Art, Tippfehler 
riickgangig zu machen. 

Die wirkliche Position der Fingerspitze bezogen auf die 
Tastenmitte kann uberwacht werden (Farbe, Lautstarke des 
Anklickens und Abstand) . 

Der Rechner kann die Mitte der virtuellen Tasten hinsicht- 
lich der aktuellen Position der Finger und der Hand auf 
dynamische Weise anpassen. Ein fast stationarer Finger wird 
automatisch auf die virtuelle Taste "gelegt". Von dieser 
Stellung aus kann ein erfahrener Maschinenschreiber die 
anderen Tasten ohne optische Kontrolle finden. 

Die Bedienerfiihrung ermoglicht es, eine Warnmeldung oder 
V einen bestarkenden Hinweis zu geben, wenn besondere Tasten 
in Reichweite kommen. 

Eine Tastenzuordnung vor dem Anschlag kann fur eine effiziente 
Bedienerrtickmeldung sorgen. Die Technik der virtuellen Tastatur 
kann verwendet werden, urn Tastaturen in S tandardgroJie fur Rech- 
ner zu erzeugen, die kleiner als ein Notebook sind. Andere Aus- 
fuhrungen reduzieren die Anf orderungen an die Schreibtischober- 
flache fur PCs, geben feme und geschutzte Tastaturen an und 
lassen sich fur Seh- und motorisch Behinderte anpassen. 

Die Bild- (Handform-)Aufteilung wird sehr einfach, wenn ein Farb- 
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sensor verwendet werden kann und die Hande auf einer monochromen 
(blauen) Schreibtischschablone bewegt werden. Jedoch sollte eine 
Schwarz/Weifi-Abbildung genauso gut funktionieren, wenn sich die 
Arbeitsoberflache durch eine Graustufe unterscheiden lafit, die 
sich wesentlich von der Tonung der menschlichen Haut abhebt. 
Wenn sich keine Veritiutungen iiber den Schreibtischhintergrund • 
anstellen lassen, ist eine Vorstuf en-Bildverarbeitung erforder- 
lich, urn die Konturen der Hande des Bedieners f estzustellen . Mit 
dem a-priori-Wissen, dafi das Hintergrundbild konstant bleibt 
(Rauschen und Schattierung ausgenommen) , und dem Wissen iiber die 
Hand als eine zusammenhangende Einheit, halt sich das notwendige 
Mali an zeitkritischer Verarbeitung in Grenzen. 

Wie vorstehend erwahnt wurde, sollte eine Tastatur dem Benutzer 
Informationen iiber die Tasten und Riickmeldungen geben. Eine tak- 
tile Ruckmeldung einer virtuellen Tastatur ist durch die Beruh- 
rung der Fingerspitze mit der Arbeitsplatte gegeben. Eine aku- 
stische Ruckmeldung (Klicks) kann von der Verarbeitungseinheit 
leicht erzeugt werden. 

Informationen iiber die Tasten fur eine virtue lie Tastatur konnen 
in einem Fenster auf der Monitoranzeige angezeigt werden. Sche- 
matische' Darstellungen der Bilder der Hand konnen iiber einer 
Tastaturschablone angezeigt werden. Die gleichzeitige Anzeige 
der Tastatur mit der Anwendung ist aus ergonomischen Griinden 
vo^teilhaft, da man den Blick zwischen Bildschirm und Tastatur 
nicht zu wechseln braucht (Hinweis: Dies ist dem heutigen Ge- 
brauch eines Mauszeigers ganz ahnlich) . 

Das Erfassen der Fingerbewegungen kann dazu verwendet werden, 
Ruckmelde-Informationen fur den Bediener zu erzeugen, wenn der 
Tastenanschlag unnotig stark ist. Dies ermoglicht es, die Gefahr 
des durch starke Belastung bedingten RSI-Syndroms (tatigkeits- 
bezogene Verletzungen nach wiederholten Belastungen) zu reduzie- 
ren. Auf jeden Fall lafit sich die virtuelle Tastatur mit einer 
geringeren Belastung der Finger bedienen, da es keine physi- 
schen, gefederten Tasten gibt. 
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Eine virtuelle Tastatur ermoglicht eine individuelle Optimierung 
der TastaturgroBe. Dies ist absolut nicht nebensachlich. Die 
Grofie der Hand eines Menschen variiert liber einen weiten Be- 
reich. Die Standard-Tastaturgrofie ist ein Kompromifi. Wenn die 
Seh-, Tast- und Motorik-Funktionen des Bedieners zur Tastatur- 
schnittstelle getrennt werden, konnen diese Funktionen zugunsten 
der Bedienerfreundlichkeit und folglich der Betriebsgeschwindig- 
keit optimiert werden. 

AuJierdem kann eine virtuelle Tastatur dupliziert oder einfach in 
getrennte Elemente fur die rechte und die linke Hand aufgeteilt 
werden. Dies erlaubt eine auBerst entspannte Arbeitshaltung 
(z.B. in einem Stuhl mit Armlehne) . Die Bedeutung fur Behinderte 
ist of f ensichtlich. 

Fur Bediener mit weniger Sachkenntnis im Umgang mit Computern 
und weniger Erfahrung im Maschinenschreiben ist eine gedruckte 
Schablone (Platzvorlage) mit der Tastaturanordnung nutzlich. Ein 
anderes Bildauswerteverf ahren erleichtert es dann dem Bildverar- 
beitungssystem, die virtuelle Tastatur an die Schablone anzupas- 
sen. Die Platzvorlage kann auf ein Stuck weiches Gewebe (z.B. 
Polyurethan-Schaum) aufgebracht werden, urn die Belastung fur die 
Fingerspitzen vom Anschlag auf einer harten Schreibtischplatte 
zu verringern. 
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ANSPRUCHE 

Verfahren zur Erfassung von Benutzerbef ehlen oder Daten in 
einem Befehls- oder Datenverarbeitungssystem, wobei vom 
Benutzer gemachte Bewegungen uberwacht werden, das System 
einen TV-Sensor (2) enthalt, der so plaziert ist, dafi er 
einen unversperrten Blick auf die Hand und/oder die Finger 
ermoglicht, sowie Mittel zur Digitalisierung und Verarbei- 
tung von Signalen von dem TV-Sensor, 

wobei die Hand und/oder die Finger des Benutzer s von dem 
TV-Sensor uberwacht werden, 

Form, Position und aktive Bewegungen der Hand und/oder der 
Finger von dem TV-Sensor gleichzeitig erkannt werden und 

von den Mitteln fur die Signalverarbeitung analysiert wer- 
den, 

wobei die Bewegungen als entsprechende Eingabedaten oder 
Befehle interpretiert werden, 

dadurch gekennzeichnet, dafi die aktiven Bewegungen Tasten- 
anschlagsbewegungen umfassen, 

wobei die Tastenanschiagsbewegungen von auf einanderf olgen- . 
den Bildfeldern des TV-Sensors erkannt werden. 

Verfahren nach Anspruch 1, wobei die Analyse der Form und 
der Position die Lokalisierung der Fingerspitzen ein- 
schlieJJt . 

Verfahren nach Anspruch 1 oder 2, wobei die aktiven Bewe- 
gungen horizontale und vertikale Bewegungen und Fingerspit- 
zendynamik einschliefien. 
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4. Verfahren nach jedem der vorausgehenden Anspriiche, wobei 
das Verarbeitungssystem des weiteren einen Monitor (1) um- 
fafit und zumindest ein Teil des Anzeigebereichs des Moni- 
tors dazu dient, zumindest schematisch Hand- oder Fingerbe- 
wegungen in einem entsprechenden Bereich (4) vor dem TV- 
Sensor (2) visuell darzustellen. 

5. Verfahren nach Anspruch 4, wobei der Teil des Anzeigebe- 
reichs automatisch aktiviert wird, indem eine Hand in dem 
Bereich (4) vor dem TV-Sensor (2) positioniert wird. 

6. Verfahren nach Anspruch 4 oder 5, wobei schematische Dar- 
stellungen der uberwachten Hand, der Finger oder Finger- 
spitzen auf dem Monitor angezeigt werden. 

7. Verfahren nach Anspruch 6, wobei die schematischen Darstel- 
lungen entsprechend der aktuellen Position der Hand, der 
Finger oder Fingerspitzen vor dem TV-Sensor auf dem Monitor 
plaziert und bewegt warden. 

8. Verfahren nach jedem der vorausgehenden Anspriiche, wobei 

die Analyse der aktiven Bewegungen eine Klassif izierung 

durch Vergleich der f estgestellten Bewegungen mit vorgege- 

benen und gespeicherten Bewegungsmustern und die Unter- 

scheidung von nicht ubereinstimmenden Bewegungen ein- 

■j~ schliefit, so dafi nur bestimmte Bewegungsarten akzeptiert 
werden. 

9. ^ Verfahren nach Anspruch 8, wobei die akzeptierten bestimm- 

ten Bewegungsarten als Befehle interpret iert werden. 

10. Verfahren nach jedem der vorausgehenden Anspriiche 1 bis 9, 
wobei das Erkennen der Tastenanschlagsbewegungen die Ta- 
stenzuordnung vor dem Anschlag einschliefit, indem die Fin- 
ger spitz endynamik uberwacht wird. 

11. Verfahren nach jedem der Anspriiche 4 bis 10, wobei der Mo- 
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12, 



13. 



nitor (1) des weiteren Symbole anzeigt, die Datenwerte oder 
Befehle darstellen, die direkt ausgewahlt werden konnen. 

Verfahren nach Anspruch 11, wobei die Symbole so gewahlt 
und angeordnet sind, dafi sie eine Tastatur darstellen. 

Verfahren nach jedem der vorausgehenden Anspruche, wobei 
die Analyse der aktiven Bewegungen die Unterdriickung von 
weniger bedeutenden Bewegungen, die z.B. durch Verzerrungen 
wie beispielsweise Vibrationen etc. hervorgeruf en werden, 
durch Filterung einschliefit . 

Daten- oder Bef ehlseingabegerat, wobei Hand- oder Fingerbe- 
wegungen eines Benutzers erkannt und analysiert werden, wie 
m jedem der vorausgehenden Anspriiche dargelegt 1st. 

15. Datenverarbeitungssystem, das mindestens ein Eingabegerat 
einschlieJit, wie in Anspruch 14 dargelegt ist. 



14. 
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